### 服务端程序
wasm_server="llama-api-server.wasm"

### 模型文件
model_file="/data/llm/qwen2-7b-instruct-q8_0.gguf"
prompt_template="chatml"
model_name="qwen2-7b-instruct"
res='<|im_end|>'

### 打印信息
printf "模型文件: $model_file, prompt: $prompt_template, wasm服务端文件: $wasm_server \n\n"

printf "启动服务 ...\n\n"

wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:$model_file $wasm_server \
    -p $prompt_template \
    --ctx-size 4096 --batch-size 4096 \
    --log-stat \
    --model-name $model_name
